【论文阅读】Parameter Learning for an Intuitionistic Fuzzy Belief Rule-Based Systems Based on Weight and Reliability
DIO:10.20965/jaciii.2019.p0219
期刊:Journal of Advanced Computational Intelligence and
作者:王燕妮(北京航空航天大学软件学院)
年份:2019
引用:Wang Y . Parameter Learning for an Intuitionistic Fuzzy Belief Rule-Based Systems Based on Weight and Reliability[J]. Journal of Advanced Computational Intelligence and Intelligent Informatics, 2019.
本文的目的是为了提高 IFBRB 系统的精度,提出了一种 PL-RW-IEC 的学习方法。本学习方法(PL-RW-IEC)的不同之处在于对证据的可靠性和证据的权重进行了分开处理,因为它们衡量的是证据的不同属性。证据重要性衡量的是证据之间的关系,它衡量的是证据对其他证据的支持程度,可以使用外部冲突来计算证据权重值。证据可靠性衡量的是证据本身的可靠程度,可以使用证据的内部冲突来计算证据的可靠性。
PL-RW-IEC 的学习方法步骤可以归纳为:首先通过证据的轮廓函数 ,计算证据的内部冲突和证据之间的外部冲突;再通过证据的内部冲突和外部冲突,计算证据的可靠性和权重。 结合证据的权重和可靠性,用证据推理的方法计算出综合信度;最后将效用分配给组合信念度,计算出模型输出。
基于权重和可靠性的IFBRB的参数学习
摘要:参数学习的目的是为了保证基于直觉的模糊置信规则库系统(IFBRB)的准确性,同时考虑权重和可靠性。 本文的主要贡献是将可靠性和权重分别作为证据的内在属性和外在属性进行区分,提出了一种同时考虑内外部冲突的可靠性和权重的参数学习方法(PL-RW-IEC),引入具有可靠性和权重的证据推理作为学习过程的基础。
1.背景介绍
随着模糊理论的发展,基于模糊信念规则的系统扩展为基于直觉的模糊信念规则系统(IFBRBSs)。证据推理是IFBRBSs的基础,证据推理(Evidence reasoning,ER)包括两个方面:多源证据和证据组合。证据推理的关键内容是证据组合。然而,如何避免因为组合冲突的信念而产生反直觉的结果,是组合规则的一大难题。
目前组合冲突置信的方法有:
- Dempster规则【1968-Dempster,A generalization of Bayesian inference】没有定义两个完全冲突的规则如何结合,而结合高度冲突的证据时可能导致不合理的结果。
- Yager规则【1987-On the Dempster-Shafer framework and new combination rules】将相互冲突的信念重新分配到辨证框架上,作为一种全局性的无知。它不是一个概率推理过程。
- Dubois和Prade规则【1988-Representation and combination of uncertainty with belief functions and possibility measures】在冲突发生的焦点命题中重新分配冲突的信念。PCR5规则在局部重新分配冲突的信念。与Dempster规则不同的是,上述其他规则并不是一个共轭式或概率式的推理过程。
- Haenni的组合规则【2005-Shedding new light on Zadeh’s criticism of Dempster’s rule of combination】改变了证据的特殊性,不合并完全可靠但高度冲突的证据。不是贝叶斯推理过程的组合规则的结果可能导致不可解释的结果。
- 杨剑波提出了证据推理规则【2013-Evidential reasoning rule for evidence combination】来组合证据。 大多数组合方法都只考虑证据的权重。但杨剑波提出,在组合过程中,可靠性是证据的内在属性,不应忽视或不与证据的权重混为一谈。
其他的相关研究有:
- 为了减少证据组合过程中的误差,Browne【2013-Integrating textual analysis and evidential reasoning for decision making in engineering design】提出在组合前应根据不同的可靠性对证据来源进行折现。构建一个最大的一致子集来检查出不一致或非一致的证据。 基本信念分配之间的距离(bbas)可以定义为代表证据源之间的异同。
- Jiang【2012-A new evidential trust model for open distributed systems】认为,许多组合规则只关注冲突再分配的空间和权重问题,而忽略了导致冲突的原因是证据源不可靠。 他们将冲突矩阵计算出的证据的可靠性视为修改组合规则的折现因子。因此,可靠性是证据的一个重要属性,在推理过程中需要单独处理。可靠性可以通过计算不同证据来源之间的冲突或不一致来获得。大多数研究者用归一化前分配给空集的综合信念的质量m⊕(Φ)来衡量冲突程度。
- Liu【2006-Analyzing the degree of conflict among belief functions】提出了两个维度来衡量冲突,不仅考虑m⊕(Φ),还考虑两个bbas的投注承诺之间的距离。
- Fu【2011-Analyzing the applicability of Dempster’s rule to the combination of interval-valued belief structures】提出了对优化模型来衡量区间值信念结构之间的一致性区间。然而,可靠性是证据的独立属性,不同于证据的权重。可靠性是由证据本身决定的,而不是由证据来源之间的关系决定的。在这个意义上,由证据源之间的冲突或不一致间接决定的可靠性对组合结果来说是不合理的。
- Roquel【2014-Decomposition of conflict as a distribution on hypotheses in the framework on belief functions】总结道,源内冲突是指当把一个源所提供的信息建模为信念函数时,该源所固有的冲突。源间冲突是指合并源时出现的冲突。他们提出将空集的质量分解为两部分。在他们的建议中,空集的质量应该是已知的。组合规则没有设计。
- Destercke【2013-Toward an axiomatic definition of conflict between belief functions】提出了一个内外冲突分离的框架,以确保组合证据源时的安全性。 如果空集的质量不知道,那么可以采用这种方法。
本文的动机是单独考虑证据的可靠性和权重。可靠性被认为是证据的内在属性,由证据本身决定。权重被认为是证据的外部属性,由证据来源之间的关系决定。本文的主要贡献有两个方面:一是可靠性由内部冲突获得,权重由证据组合前的外部冲突获得。另一个是在组合规则中,根据可靠性和权重对证据来源进行折算。基于这两个方面,提出了对IFBRBSs分别考虑由内部冲突和外部冲突决定的可靠性和权重的参数学习方法(PL-RW-IEC)。
2.IFBRB 结构
传统的 BRB 系统的规则格式定义为:
基于直觉的模糊置信规则系统(Intuitionistic Fuzzy Belief Rule-Based Systems,IFBRBSs)是基于传统 BRB 系统的扩展。
【IFBRB系统的个体匹配度】在 IFBRB 中,前件属性在从输入 到参考值 的转换中,输入的置信度 被转换为匹配度 ,其计算公式为 ,其中 是 和之间的匹配度函数。即:
其中:
- 表示输入评估 的隶属函数;
- 表示输入评估 的非隶属函数;
- 表示前件评估 的隶属函数;
- 表示前件评估 的非隶属函数;
【IFBRB系统的属性权重和激活权重的计算】可信度因子的分配方式与权重分配方式相同,在本研究中,采用同样的方法,属性权重用CFk1,CFk2,--,CFkTk表示.属性权重的归一化函数计算方法如
第 k 个规则的激活权重为:
,其中
【IFBRB系统的后件属性区间置信度】将激活的规则进行合成得到后件属性的区间置信度:
由专家给出 N 个后件属性初始的置信度 ,……, ,然后用上面公式更新传统BRB。也就是说将:
更新为:
参考自:直觉模糊集隶属度与非隶属度函数的确定方法 - 道客巴巴
3.DS理论
设 Θ={θ1,θ2,...,θn} 是一组穷尽和互斥的命题集合,称为辨证框架。
【定义1,基本概率分配】基本信念分配(BBA)是一种映射,将 1 分配给辨证框架的幂集 2^Θ = {∅,θ1,θ2,...,θn,{θ1,θ2},...,{θ1,θn},...,{θ1,...,θn−1},Θ}。m(θ)表示分配给命题θ的基本概率质量,表示命题θ被证据支持的程度。
- 信任函数定义为:;
- 似然函数定义为:;
- 共性函数定义为:;
- 轮廓函数定义为:。
对于任意θ ⊆Θ,轮廓函数为 pl(θ)=Pl({θ})=Q({θ})。
【定义2 ,Shafer的折扣】假设m(θ)是一个证据指向命题θ的基本信念分配(BBA),加入因子α∈[0,1]对m(θ)进行打折,其中α可以认为是证据的可靠性。 Shafer的打折方法定义如下:
其中α=0代表完全不可靠的来源,α=1代表完全可靠的来源。Shafer的打折方法改变了原始证据的特异性。
【Dempster规则组合】Dempster规则组合的运算如下定义:
DS理论对于基本概率质量 "冲突 "没有明确的解释。在Dempster-Shafer(DS)理论的语境中,归一化前分配给空集的组合信念的质量 m⊕(∅) 被认为是两件证据之间的冲突。 两个信息源之间的冲突是一个需要解决的关键问题。
Liu【2006,Analyzing the degree of conflict among belief functions】认为,Dempster的冲突m⊕(∅)不足以作为衡量两个bbas之间冲突的量化标准,尤其是在评估两个来源是否一致时。Liu 认为,m⊕(∅)只代表组合后未承诺的信念(或虚假承诺的信念)的质量。
Liu 提出了一个二维冲突度量 ,其中 difBetP 为投注承诺之间的距离。对bbas之间的距离进行了回顾,并提出了新的具有一致性的组合规则的距离度量[23]。
Destercke【2013,Toward an axiomatic definition of conflict between belief functions】不同意bbas之间的距离度量应该是一个唯一的度量,或者作为冲突的补充度量,因此提出了一个框架来分离内部和外部冲突。
Dubois和Prade【1994,La fusion d’ informations impr´ecises】提出,如果两个信息源之间的冲突很高,那么至少其中一个信息源可能是不可靠的。 在这个意义上,高冲突被视为对信息源可靠性的怀疑[8]。
【定义3,内部冲突和外部冲突】设m1和m2为两个bas,那么:
- m1 和 m2 的内部冲突定义为 :,
- m1 和 m2 的外部冲突定义为:
其中 pl1 和 pl2 定义为:, ,分别是bbas m1和m2的轮廓函数。这个过程是将m1和m2转化为内部冲突为空的和。
【问题总结】本文是基于区分内部冲突和外部冲突的建议【2013,Toward an axiomatic definition of conflict between belief functions】,在可靠性和权重的组合规则过程中,可靠性被视为由证据内部冲突决定的内部属性,而不是使用Dempster冲突。 权重被视为由外部证据冲突决定的外部属性。将可靠性和权重引入到规则中,经过参数学习后,组合规则的精度得到提高。
要实现这个过程,需要解决以下问题:
- 1)基于证据内部冲突和外部冲突的可靠性和权重的计算;
- 2)具有可靠性和权重的证据来源的组合规则;
- 3)组合后的参数学习;
4.具有可靠性和权重的参数学习法
在本节中,提出了同时考虑可靠性和由内外冲突决定权重的参数学习方法(PL-RW-IEC)。如果两个证据之间的冲突较多,从某种意义上讲,其中至少有一个证据可能是不可靠的。冲突越小,一个证据支持另一个证据的程度越大。但是,传统方法是通过两个证据之间的支持度间接获得可靠性。 本文认为,最好是直接通过证据的内部冲突来获得可靠性。
可靠性是证据本身的属性,不受其他证据的影响。也就是说,无论组合与否,可靠性都不会因其个体属性而改变。在传统的组合方法中,可靠性和权重是不分离的。在本方案中,证据的权重是指证据的重要程度,主要体现在组合过程中。
4.1 可靠性与权重
【可靠性】无论组合与否,可靠性都是由证据本身决定的内在属性。证据 θ 的可靠性计算定义为:
其中 ηk 为可靠性的系数;plk 为 bbas mk 的轮廓函数。
【权重】当组合证据源时,激活的权重受两个方面的影响:一个是使用 和 间的匹配度 更新的原始权重。另一个是受来源之间的冲突影响。本文证据的权重计算定义为:
其中 ξk 为权重系数,k=1,2,...,L,s=1,2,...,L,n=1,2,...,N。
新的组合法是将证据与可靠性和权重相结合。它是由Yan提出的。Yang与本研究的不同之处在于,可靠性和权重是根据内部冲突和外部冲突得到的。结合证据是将递归ER算法扩展为分析ER算法,同时具有可靠性和权重。
4.2 规则组合(ER-RW)
[定义4,ER与可靠性和权重组合规则,ER-RW】假设wk为证据的权重,rk为证据的可靠性,则证据的基本概率质量分配定义为:
它可以看作是Shafer打折方法的一种扩展形式,将因子α改为 Crw,k。根据ER-RW打折方法,组合规则的分析形修改为:
其中,e(k) 代表第k个用于组合的证据来源。
4.3 参数学习(PL-RW-IEC)
本节提出了一种 IFBRB 系统的参数的方法PL-RW-IEC。该方法的主要过程如图1所示。
PL-RW-IEC的主要贡献是不仅考虑了证据的重要性,还考虑了证据的可靠性。在推理过程中,证据重要性和证据可靠性需要分开处理,因为它们衡量的是证据的不同属性。证据重要性衡量的是证据之间的关系,它衡量的是证据对其他证据的支持程度。证据可靠性衡量的是证据本身的可靠程度。
在本方案中,在证据件的组合过程中,与杨建国[8]的主要区别在于,证据的内部冲突与证据的可靠性有关。 证据之间的外部冲突是与证据的权重有关。因此,证据组合前的第一项重要工作就是计算证据的两种属性:可靠性rk和权重wk。
根据图1,可以看出PL-RW-IEC分为两部分:
- 第一,利用3.2节中提到的证据与权重和可靠性的结合,计算模型输出ˆy。
- 第二,要学习的参数有(包括属性权重δki、规则权重ϖk、可靠性系数ηk、权重系数ξk、效用值un),采用参数学习法定义约束条件。 目标函数是最小化实际输出 y∗ 与模型输出 ˆy 之间的MSE。
在本研究中,PL-RW-IEC的步骤有:
step1:通过证据的轮廓函数 ,计算证据的内部冲突和证据之间的外部冲突。
证据的轮廓函数: ,
内部冲突 :, ,
外部冲突:,其中
,
step2:通过证据的内部冲突和外部冲突,计算证据的可靠性和权重。
证据可靠性:
证据权重:
step3:结合证据的权重和可靠性,计算出综合信度。
结合证据权重和可靠性:
计算出综合信度:
step4:将效用分配给组合信念度,计算出模型输出。通过下面非线性优化模型计算输出 ˆy:
计算得到模型的输出为
step5:将实际输出 y∗ 与模型输出 ˆy之间的误差最小化,得到IFBRBSs的新参数。
为了求解非线性模型,Chen[26]证明了综合信念度βθn,e(k)随基本信念度pθn,k的增加而单调增加,Chen[27]证明了综合信念度βΘ,e(k)随基本信念度pθn,k的增加而单调降低。因此,βθn,e(k)和βΘ,e(k)的最小和最大是pθn,k的极点。
5.案例研究
5.1 数据训练
采用北京大学第三医院的脑卒中规则库[28]。在脑卒中的规则库中,规则数量为52条。
【前件属性】在规则库中有四个前因属性Tk=4。它们分别是日常生活活动(ADL)、痉挛、肌力和肌张力。这四个属性用直观的梯形模糊数(ITFNs)表示。通过评价量表收集四个症状。 每个前件属性的参考值设置为:
- Activity of Daily Living (ADL):{(Very high, α11), (High, α12), (Medium, α13),(Low, α14), (Very low, α15)}
- Spasm:{(Very high,α21),(High, α22), (Fairly low, α23),(Low, α24), (Very low, α25)}
- Muscle strength:{(Absolutely high, α31), (Very high, α32), (High, α33),(Fairly high, α34), (Medium, α35), (Fairly low, α36),(Low, α37), (Very low, α38), (Absolutely low, α39)}
- Muscle tone:{(Very high, α41), (High, α42), (Fairly low, α43),(Low, α44), (Very low, α45)}
【后件属性】有三个时期来表示患者的状态。R1-R24是关于弛缓性瘫痪期。R25-R28是关于痉挛期。R29-R52为疗养期。这三个时期被认为是脑卒中诊断规则基础的后果。
测试数据来自于临床测试问卷所做的一组患者信息采集。 参与检测的患者有68例。他们是不同级别的卒中。输出分为三个时期,分别代表三种不同的脑卒中状态
展示规则库中的部分规则:
- R6: If ADL is Very high and Spasm is Very low and Muscle strength is High and Muscle tone is Low, then the stroke level is the flaccid paralysis period.
- R26: If ADL is Medium and Spasm is Fairly low and Muscle strength is High and Muscle tone is Very high, then the stroke level is the spastic period.
- R46: If ADL is Very low and Spasm is High and Muscle strength is Absolutely high and Muscle tone is Fairly low, then the stroke level is the convalescence period
参数学习前的模型估计输出和真实值
可以看出估计值和真实值还有较大误差,参数学习后的模型估计输出和真实值:
从图3可以看出,通过PL-RW-IEC学习后的模拟输出可以很好地拟合实际输出,它们之间的均方误差(MSE)从0.2596×10-3降低到0.0348×10-4。 它们之间的均方误差(MSE)从0.2596×10-3降低到0.0348×10-4
5.2 比较分析
测试了三种不同的学习方法。(PL-RW-IEC, PL-RW-DC, PL-NR)。
PL-RW-IEC:这是本文提出的学习方法,这种学习方法将证据重要性和证据可靠性需要分开处理,因为它们衡量的是证据的不同属性。证据重要性衡量的是证据之间的关系,它衡量的是证据对其他证据的支持程度,可以使用外部冲突来计算证据权重值。证据可靠性衡量的是证据本身的可靠程度,可以使用证据的内部冲突来计算证据的可靠性。
证据可靠性:
证据权重:
PL-RW-DC:这种学习方法中可靠性和权重是由Dempster冲突决定,本质上,它并不区分可靠性和权重。
证据可靠性:
证据权重:
PL-NR:这种方法只考虑权重,不考虑可靠性。另外,在计算权重时,不考虑bbas之间冲突的影响。
证据权重:
三种方法在训练前的输出如图4所示:
从图4中可以看出,三种方法的真实输出与模拟输出之间的偏差非常大。特别是PL-RW-DC与实际输出的偏差很大。为了减小较大的误差,对参数进行学习,以提高模型的性能。训练后的输出如图 7 所示:
从图7中可以看出,三种方法学习后的实际输出与模拟输出之间的偏差有了很大的减小,但有两种方法(PL-RW-DC和PL-NR)的实际输出与模拟输出之间的偏差相对较大。但有两种方法(PL-RW-DC和PL-NR)的实际输出与模拟输出之间的偏差相对较大。
三种方法学习后的MSE如表1所示。
由表1可计算出实际输出与三种模型输出之间的均方误差(MSE),根据实际输出与三种方法输出之间的均方误差,PL-RW-IEC方法比其他两种方法最准确。
从图7和表1可以得出结论,PLRW-IEC方法通过区分内部冲突和外部冲突来考虑可靠性和权重,可以保证IFBRBSs的精度。从得到的MSE来看,经医学专家评价的PL-RW-IEC方法的模拟输出量较小,适合实际应用使用。
6.结论
本文的目的是为了提高 IFBRB 系统的精度,对 IFBRBSs 的五种参数进行了考虑,提出了一种 PL-RW-IEC 的学习方法。本学习方法(PL-RW-IEC)的不同之处在于对可靠性和权重进行了区分,将它们作为证据的两种不同属性,分别通过内部冲突和外部冲突进行计算。
与其他两种方法(PL-RW-DC)和(PL-NR)相比,所提出的方法得到的结果最为准确。在PL-RW-DC方法中,可靠性和权重是利用Dempster冲突计算的,本质上,它并不区分可靠性和权重。在PL-NR方法中,只考虑权重,忽略可靠性。经过三种参数学习方法的比较,PL-RW-IEC方法的MSE最小。










